Loài tê giác Java có kích cỡ nhỏ hơn tê giác Ấn Độ, và tương đương với loài tê giác đen. Chiều dài cơ thể của tê giác Java (bao gồm cả đầu) có thể lên đến 3,1–3,2 m (10–10,5 ft) và chiều cao là 1,4–1,7 m (4,6–5,8 ft). Khi trưởng thành, chúng có cân nặng khác nhau, dao động từ 900 đến 2.300 kg, và do đang ở tình trạng cực kỳ nguy cấp nên vẫn chưa có một nghiên cứu chính xác nào về kích cỡ khối lượng của loài nay, bởi việc đó không phải là ưu tiên hàng đầu[21]. Không có sự khác biệt kích cỡ đáng kể nào giữa hai giới, nhưng con cái có thể to hơn con đực một ít. Những con tê giác Việt Nam thì nhỏ hơn đáng kể so với đồng loại ở Java, dựa trên những bằng chứng hình ảnh hay kích cỡ dấu chân của chúng[22].

Giống như người anh em Ấn Độ, loài tê giác Java có một sừng (những loài tê giác khác hiện nay đều có hai sừng). Sừng của chúng nhỏ hơn tất cả những loài tê giác còn tồn tại khác, thông thường dài chưa đến 20 cm (7,9 inch) và chiếc sừng dài nhất được ghi nhận cũng chỉ là 27 cm (10,5 inch). Chúng dường như không thường xuyên dùng sừng để tấn công, thay vì thế chúng sử dụng sừng để cạo bùn trong những bãi đầm, hạ đổ cây xuống để kiếm ăn, hay mở đường đi qua những bụi cây cối rậm rạp. Giống với những loài tê giác ăn cành lá khác (tê giác đen, Sumatra và Ấn Độ), tê giác Java có môi trên dài, nhọn giúp cho việc lấy thức ăn. Những răng cửa dưới thì dài và sắc, được chúng sử dụng trong chiến đấu. Sau răng cửa, có hai hàng sáu chiếc răng hàm dưới vây quanh để nhai các thực vật thô. Giống như những tê giác khác, chúng có khả năng ngửi và nghe tốt nhưng lại có thị giác rất kém. Tuổi thọ của tê giác Java khoảng từ 30-45 năm[22].

Bộ da của chúng không lông, có màu xám lốm đốm hay nâu xám, được phủ thành từng nếp gấp xung quanh vai, lưng và mông. Bộ da có cấu trúc khảm tự nhiên giúp tạo cho những con tê giác một lớp vỏ ngoài bảo vệ như một bộ áo giáp. Những nếp gấp ở cổ tê giác Java nhỏ hơn tê giác Ấn Độ, nhưng vẫn tạo thành hình yên ngựa phủ qua vai. Bởi những rủi ro có thể gây quấy rầy một loài động vật đang gặp nguy cấp, nên các nhà khoa học phải nghiên cứu thông qua mẫu phân và những bẫy ảnh. Tê giác Java rất hiếm khi có thể được bắt gặp, quan sát hay đánh giá một cách trực tiếp[23].